1.1 Hva er rettferdighet?

Rettferdighet er ett av de grunnleggende prinsippene ved behandling av personopplysninger, og er plassert i artikkelen som gjerne kalles for personvernets grunnlov; pvf. art. 5. Likevel er det lite diskutert begrep som ikke brukes like aktivt som for eksempel åpenhetsprinsippet. En mulig grunn til dette er at rettferdighet er vanskelig å definere.

Rettferdighet er et vidt begrep uten én forent definisjon. Rettferdighet er heller ikke et statisk begrep, og hva som er rettferdig avhenger av tid, sted og kontekst. For eksempel beskriver det bibelske begrepet «øye for øye, tann for tann» gjengjeldelse som rettferdig straff. I Norge i dag straffes ingen gjerningspersoner med forbrytelsen de selv begikk. Men samfunnets rettferdighetsoppfatning kan endres raskere enn det. Både terrorhendelsen 09.11.2001 og covid 19-pandemien er eksempler på at rettferdighetsoppfatningen kan endres av enkelthendelser. De to hendelsene medførte at overvåkning, og dermed oppgivelse av personopplysninger, i større grad anses som rettferdig, når formålene er å hindre terror og så stanse smittespredning.^{(5)ACLU, «Surveillance Under the Patriot Act» https://www.aclu.org/issues/national-security/privacy-and-surveillance/surveillance-under-patriot-act; Deborah Brown & Amos Toh, «Technology is Enabling Surveillance, Inequality During the Pandemic», hrw.org, https://www.hrw.org/news/2021/03/04/technology-enabling-surveillance-inequality-during-pandemic} Hva som oppfattes som rettferdig kan i tillegg være betinget av kulturelle, politiske og subjektive forskjeller.

Denne artikkelen fokuserer på rettferdighetsprinsippet i pvf. art. 5 nr. 1 (a) og algoritmeskjevhet som utfordring knyttet til overholdelsen av rettferdighetsprinsippet ved bruk av KI som beslutningsstøtte.

To mer grunnleggende tanker om hva rettferdighet kan være, er likebehandling og ulik behandling for likt resultat. Ulik behandling for likt resultat, handler om rettmessig forskjellsbehandling. Man tar utgangspunkt i ulikheter og prøver å justere for disse. Denne rettferdighetstankegangen kjenner vi igjen fra velferdsstaten. Noen får mer penger fra staten i form av trygd eller andre goder, mens andre betaler mer penger til staten i form av skatter og avgifter. Målet er at folk skal ende opp likere økonomisk enn om staten ikke hadde blandet seg inn. Likebehandling handler på sin side om at alle vurderes ut ifra like kriterier, uten å ta hensyn til forskjeller man ønsker å korrigere for. Et eksempel her er uttak til et landslag. Her ønsker man å ha med de beste utøverne, uansett om ikke alle har hatt de samme forutsetningene for å bli gode nok til å kvalifisere seg.

1.2 Hvordan vurdere hva som er rettferdig i ditt behandlingstilfelle?

Ettersom rettferdighet ikke har én forent definisjon må hver behandlingsansvarlig selv vurdere hva som er rettferdig i sitt behandlingstilfelle. Dette følger av ansvarlighetsprinsippet i art. 5 nr. 2. For å kartlegge hva rettferdig behandling innebærer må rettferdighetsbegrepet kontekstualiseres. Hva som er rettferdig i et enkelt behandlingstilfelle kan handle om ønsket resultat, politikk eller til og med filosofisk overbevisning eller ideologi. Hva som er rettferdig behandling vil ikke være likt for alle, men som behandlingsansvarlig må man artikulere hvordan rettferdighetsbegrepet skal forstås i den konteksten man behandler personopplysninger.

Når en behandlingsansvarlig skal vurdere hva som er rettferdig i sitt tilfelle, er det nyttig å se på en rekke faktorer. Her kan både personvernforordningens fortale og Det Europeiske personvernrådets (EDPB) retningslinjer bidra med relevante vurderingsmomenter.

Diskriminering og urettmessig forskjellsbehandling et av de tydeligste eksemplene på urettferdig bruk av personopplysninger. At behandling må skje på en måte som hindrer diskriminering uttales blant annet i relasjon til profilering i fortalepunkt 71. Ved forståelsen av hva som utgjør diskriminering som innebærer urettferdig behandling av personopplysninger, vil likestillings- og diskrimineringslovens (ldl.) regler ha betydning. Hovedpoenget er at personer med diskrimineringsvern ikke «behandles dårligere enn andre», jf. ldl. § 7. I forarbeidene utdypes det at det avgjørende er om forskjellsbehandlingen fører til «skade eller ulempe for den som forskjellsbehandles, for eksempel at forskjellsbehandlingen fører til tap av fordeler, økonomisk tap eller færre muligheter sammenlignet med andre i en tilsvarende situasjon. Forholdet må ha en konkret og direkte betydning for bestemte fysiske personer.»^{(6)Prop. 81 L (2016-2017), kap. 30, kommentar til § 7} Dette innebærer at ikke alle forskjeller som gjøres mellom ulike grupper av mennesker faktisk utgjør diskriminering. Nøyaktig hvor grensen går må avgjøres i det konkrete tilfellet.

EDPB har i sin veiledning om behandling med grunnlag i kontraktoppfyllelse etter GDPR art. 6 (1) b) uttalt at rettferdighetsprinsippet innebærer en anerkjennelse av de registrertes rimelige forventninger til behandlingen, at behandlingsansvarlig må ta hensyn til mulige negative konsekvenser og for de registrerte og effekten en eventuell ujevn maktbalanse mellom de registrerte og behandlingsansvarlig.^{(7)EDPB, Guidelines 2/2019 on the processing of personal data under Article 6(1)(b) GDPR in the context of the provision of online services to data subjects, version 2.0, adopted October 8th 2019, avsn. 12.}

Også i sin veiledning om innebygd personvern etter GDPR art. 25 lister EDPB opp en rekke nøkkelelementer for å sikre rettferdighet. Blant dem er at behandlingen bør være i samsvar med den registrertes forventninger, at behandlingen ikke skal være diskriminerende, asymmetriske maktforhold skal hensyntas og behandlingen skal være etisk forsvarlig i den forstand at behandlingsansvarlig tar hensyn til de større innvirkningene på den registrertes rettigheter. De legger også til at der algoritmer brukes må algoritmene være rettferdige, den registrerte må ha informasjon om algoritmene og det må skje kvalifisert menneskelig innblanding for å hindre maskinelle skjevheter.^{(8)EDPB, Guidelines 4/2019 on Article 25 Data Protection by Design and by Default, adopted November 13th 2019, avsn. 72.}

Oppsummert fra fortalen og EDPBs to veiledere vil nyttige spørsmål som behandlingsansvarlige kan stille seg være:

• Om behandlingen innebærer en risiko for diskriminering eller andre negative konsekvenser for de registrerte, også i en større sammenheng

• Om behandlingen er i tråd med rimelige forventninger som de registrerte har

• Om det er en ujevn maktbalanse mellom behandlingsansvarlig og de registrerte

• Hvordan man kan gi de registrerte så god informasjon at de klarer å vurdere om personopplysningene deres blir rettferdig behandlet

2.1 Hva er algoritmeskjevhet?

KI medfører noen særlige risikoer for prinsippet om rettferdig behandling av personopplysninger. En sentral problemstilling innen bruken av KI er risikoen for algoritmeskjevhet. Dette er skjevheter i algoritmene som gjør at KIen vektlegger uønskede faktorer som igjen kan medføre et uønsket utfall. Algoritmeskjevhet (på engelsk «machine bias») kan defineres som systematiske og gjentatte feilslutninger i KI-systemer som medfører uønskede utfall, eksempelvis at en gruppe mennesker prioriteres over en annen. Som beskrevet i min første artikkel utvikles KI ved å trene algoritmer på store mengder data som fungerer som læringseksempler for KIen. Dersom læringseksemplene KIen trenes på inneholder uønskede skjevheter, smitter skjevhetene over på algoritmene som igjen vil produsere skjeve resultater.

Det er flere mulige måter læringseksemplene kan inneholde skjevheter, og derfor også mange grunner til at algoritmeskjevhet kan oppstå. Skjevheter kan blant annet oppstå hvis datagrunnlaget er for tynt. Det er statistisk større sjanse for å finne ekstremer i mindre grupper. Dersom KIen trenes på for lite data, kan det derfor hende at dataen ikke vil være presis eller reell nok. En annen risiko er at algoritmen er trent på data som ikke er representativ for alle gruppene med mennesker KIen skal benyttes på. Denne typen algoritmeskjevhet har blitt avdekket i flere ulike ansiktsgjenkjenningsprogrammer.^{(9)Hardesty, Larry, «Study finds gender and skin-type bias in commercial artificial-intelligence systems», MIT News, 11.02.2018, (https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212)} I en analyse gjennomført av forskere ved MIT og Stanford ble det avdekket at tre ansiktsgjenkjenningsprogrammer hadde svært store forskjeller i evnen til å gjenkjenne hvite menn og kvinner med mørk hudfarge. Alle de tre ansiktsgjenkjenningsprogrammene hadde feilmargin på 0,8 prosent eller lavere når det kom til å gjenkjenne kjønnet til hvite menn. For kvinner med mørk hudfarge var feilmarginen mellom 20 og 34 prosent. Ett av de store teknologiselskapene som hadde utviklet den ene ansiktsgjenkjenningsprogramvaren påstod at deres programvare hadde en treffsikkerhet på over 97 prosent. I datasettet med ansikter som var brukt for å evaluere ansiktsgjenkjenningens treffsikkerhet var mer enn 77 prosent av ansiktene mannlige, og over 83 prosent hadde hvit hudfarge. Tilfellet viser hvordan datasett som brukes både til å trene og evaluere KI har stor betydning for treffsikkerheten.

En annen måte algoritmeskjevhet kan oppstå er dersom dataen som algoritmene trenes på inneholder skjevheter og diskriminering. KIen vil da lære av den diskriminerende praksisen i læringseksemplene. Dette kan bidra til å skape eller forsterke uønsket forskjellsbehandling gjennom systematisering av den diskriminerende praksisen.

I de neste punktene vil jeg trekke frem noen aspekter ved algoritmeskjevhet som utgjør en risiko for prinsippet om rettferdig behandling av personopplysninger, og som behandlingsansvarlige må være bevisste på ved bruk av KI.

2.2 Risikoen for diskriminering

I min første artikkel konstruerte jeg et eksempel der en KI ble trent på historiske data med det formål å hjelpe dommere med å avsi fengslingskjennelser.^{(10)Lov&Data nr. 151 3/2022, s. 4-6.} KIen i eksempelet så blant annet at det var større sannsynlighet for å bli fengslet dersom man ikke brukte briller. Selv om denne slutningen statistisk hadde vært riktig, ønsker vi jo ikke at KI vektlegger brillebruk for å hjelpe dommere med å avsi fengslingskjennelser. Brillebruk er en irrelevant faktor, da det ikke har noe med fengslingsgrunnene å gjøre. Om man bruker briller eller ikke virker som en relativt uskyldig faktor å vektlegge. Men hva om vi bytter ut brillebruk med hudfarge?

Det viste seg å være tilfellet da ProPublica undersøkte beslutningsstøtteverktøyet «COMPAS» som brukes i domstolene i USA.^{(11)Julia Angwin, Jeff Larson, Surya Mattu, & Lauren Kirchner. «Machine Bias», ProPublica.no, 23.05.2016, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing} COMPAS er et risikovurderingsverktøy som brukes i flere stater i USA. COMPAS bruker informasjon om den siktede, samlet inn gjennom et spørsmålsark, og gir en risikoscore på 1-10 som indikerer hvor sannsynlig det er at siktede møter opp til planlagte rettsmøter og om personen vil begå nye lovbrudd.^{(12)Angwin m.fl. (2016).} Risikoscoren presenteres for dommeren, som står fritt til å bruke risikovurderingen i spørsmålet om hvorvidt den siktede skal varetektsfengsles eller løslates i påvente av rettssak.

I de neste punktene vil jeg trekke frem noen aspekter ved algoritmeskjevhet som utgjør en risiko for prinsippet om rettferdig behandling av personopplysninger, og som behandlingsansvarlige må være bevisste på ved bruk av KI.

ProPublica, en uavhengig, ideell organisasjon som produserer undersøkende journalistikk i offentlighetens interesse, gjennomførte en studie på beslutningsstøtteverktøyet COMPAS. Studien konkluderte med at programvaren var diskriminerende overfor folk med mørk hudfarge. Studien så blant annet på hvor mange med henholdsvis mørk og hvit hudfarge som ble feilklassifisert som høyrisiko, altså hvor mange som fikk en risikoscore som tilsa at det var stor risiko for gjentagelse, men hvor det viste seg at personene ikke begikk nye lovbrudd. I tillegg undersøkte de hvor mange med henholdsvis mørk og hvit hudfarge som ble feilklassifisert som lavrisiko, altså personer som fikk en lav risikoscore for gjentagelse, men som viste seg å likevel begå nye lovbrudd. Studien viste at nesten dobbelt så mange med mørk som hvit hudfarge fikk en høy risikoscore for gjentagelsesfare, uten at personene begikk nye lovbrudd. Samtidig viste studien at nesten 20 prosent flere med hvit enn mørk hudfarge begikk nye lovbrudd til tross for at de hadde fått en lav risikoscore. Studien viser store forskjeller i feilvurderingene til KIen, til ugunst for de med mørk hud.

COMPAS ble utviklet basert på historisk data. Dette er et problem fordi det har vært og er stor grad av etnisk diskriminering i USA. Dette fikk hele verden se under Black Lives Matter-bevegelsen som startet i 2020. Når KIen lærer av data som er preget av historiske og strukturelle skjevheter, vil KIen gjenskape disse skjevhetene. Når slike skjevheter settes i system og rulles ut i stor skala, utgjør det en trussel for rettferdighetsprinsippet.

I relasjon til problematikken rundt algoritmeskjevhet og diskriminering har Europarådet påpekt forskjellen mellom direkte og indirekte diskriminering. Dette er en nyttig distinksjon for å forstå forskjellen mellom hvordan mennesker og KI kan diskriminere.^{(13)Europarådet: The Committee of Experts on Internet Intermediaries,Algorithms and Human Rights, DGI (2017)12, 2018. (2018), s. 27.} Direkte diskriminering er tilfeller der beslutningstakeren direkte baserer beslutningen på urettmessige kriterier som for eksempel hudfarge eller kjønn.^{(14)Europarådet (2018), s. 27.} Direkte diskriminering skjer gjerne underbevisst hos mennesker, ettersom det er vanskelig å unngå å oppfatte noens kjønn eller hudfarge. Faktorer som kjønn og hudfarge kan imidlertid ekskluderes fra datasettet som danner grunnlaget for kunstig intelligens. Dette kan forhindre direkte diskriminering i KI som benyttes som beslutningsstøtte.

I relasjon til problematikken rundt algoritmeskjevhet og diskriminering har Europarådet påpekt forskjellen mellom direkte og indirekte diskriminering. Dette er en nyttig distinksjon for å forstå forskjellen mellom hvordan mennesker og KI kan diskriminere.

Indirekte diskriminering er vanskeligere både å oppdage og å korrigere enn direkte diskriminering. Indirekte diskriminering kan oppstå der visse karakteristikker eller faktorer opptrer hyppigere i en gruppe som det er ulovlig å diskriminere mot.^{(15)Europarådet (2018), s. 28.} Selv om kriterier det er ulovlig å diskriminere mot utelates fra datasettet kan KI utvikle «information proxies», basert på informasjonskombinasjoner, som med høy grad av sikkerhet kan gi den samme informasjonen som om faktoren det er ulovlig å diskriminere mot var inkludert. Så lenge det finnes skjevheter i datasettet, vil KIen finne andre korrelasjoner mellom inputfaktorene og konklusjonene som vil gi tilnærmet samme diskriminerende utslag som ved direkte diskriminering.^{(16)Europarådet (2018), s. 28.} Dette er mulig blant annet på grunn av de dype nevrale nettverkene som bygges basert på mønstre i dataen KIen er trent på. Apple opplevde indirekte diskriminering i sine algoritmer da de lanserte sitt kredittkort. Etter at det ble avdekket at kvinner fikk feilaktig lavere kredittscore enn menn, sluttet Apple å samle inn informasjon om søkerne sitt kjønn. KIen fortsatte imidlertid å diskriminere kvinner også etter at kjønn ble fjernet som faktor fra datasettet.^{(17)Will Knight, «The Apple Card Didn’t “See” Gender - and That’s the Problem», wired.com, 19.11.2019, https://www.wired.com/story/the-apple-card-didnt-see-genderand-thats-the-problem/.}

Indirekte diskriminering er enda vanskeligere å oppdage enn direkte diskriminering. Det innebærer at det også er vanskeligere å rette opp eventuelle skjevheter. Dersom man ikke kan dele inn og kontrollere utfallet i grupper det er ulovlig å diskriminere mot, blir det vanskelig å se mønstre som kan avdekke diskriminering mot de utsatte gruppene. Eksempelvis vil det være vanskelig å avdekke et diskrimineringsmønster dersom man ikke kan sammenligne andel feilaktige utfall for de med mørk hudfarge sammenlignet med hvite. I motsetning til mennesker klarer ikke KI å se at beslutningene gir urimelige resultater eller å motvirke diskriminering på eget initiativ. KI har ikke etiske prinsipper eller målsetninger å korrigere beslutningene sine etter. En ekstra utfordring får man dersom algoritmens læring ikke stoppes. Den vil da fortsette å lære av seg selv og forsterker sine egne skjevheter. Dette styrker KIs potensiale til å skape ekkokamre som forsterker allerede eksisterende diskriminering.

Ettersom rettferdighetsprinsippet i personvernforordningen art. 5 nr. 1 (a) forutsetter at det ikke skjer diskriminering må behandlingsansvarlig iverksette tiltak som forhindrer dette. Det kan være å inkludere faktorer det er urettmessig å vektlegge i vurderingen. Formålet er å kontrollere algoritmene opp mot de urettmessige faktorene for å se om det foreligger diskriminering og å eventuelt justere algoritmens vekting i retning av å ikke diskriminere mot disse faktorene. Dette kan bli problematisk ettersom faktorer det er urettmessig å vektlegge ofte samsvarer med personopplysninger det i utgangspunktet er forbudt å behandle, jf. pvf. art. 9 nr. 1. EU-kommisjonen har i sitt forslag til en forordning om kunstig intelligens (Artificial Intelligence Act), foreslått en hjemmel som gjør det lovlig å behandle særlige kategorier personopplysninger etter personvernforordningen art. 9 nr. 1, dersom det er strengt nødvendig for å overvåke, avdekke og korrigere skjevheter ved bruk av høyrisiko KI.^{(18)Proposal for a Regualtion of the European Parliament and of the Council Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts, COM/2021/206 final.} Det er imidlertid ikke bare ved bruk av høyrisiko KI det er en fare for diskriminering i strid med rettferdighetsprinsippet. Frem til forslaget eventuelt vedtas må alle behandlingsansvarlige som ønsker å sikre rettferdig KI bruk av særlige kategorier personopplysninger sørge for å ha et behandlingsgrunnlag i art. 9 nr. 2 og at bruk av særlige personopplysninger ikke strider mot dataminimeringsprinsippet i pvf. art. 5 nr. 1 (c).

Til slutt er det verdt å merke seg at risikoen for diskriminering har ikke bare betydning for behandlingsansvarlige som selv bestiller eller utvikler KI. Også ved kjøp av KI-programmer for behandling av personopplysninger må behandlingsansvarlige sikre at programvaren overholder rettferdighetsprinsippet. Ettersom KI lærer av dataen den trenes på, vil algoritmene reflektere de verdiene dataen representerer. Dersom man kjøper et KI-system fra et annet land, vil ikke nødvendigvis verdiene KIen reflekterer være rettferdige. Innkjøperkompetanse og grundige kjøpsprosesser vil derfor være viktig for å overholde rettferdighetsprinsippet ved anskaffelse av KI.

2.3 Hvor mye urettferdighet tåler rettferdighetsprinsippet?

For å i det hele tatt kunne kontrollere om KI er rettferdig, må det fastsettes en grenseverdi som skiller mellom akseptert usikkerhet og uakseptabel forskjellsbehandling. Etter at den behandlingsansvarlige har artikulert hva som utgjør rettferdig behandling, reises spørsmålet om hvor mye potensiell urettferdighet en behandling tåler før den ikke lenger oppfyller rettferdighetsprinsippet. I menneskelige prosesser vil det alltid være en viss risiko for både bevisst og ubevisst urettferdighet. Det kan være en overarbeidet saksbehandler som ikke rekker å undersøke de større konsekvensene av vedtaket den fatter, eller en dommer som lar underbevisste fordommer spille inn på sin oppfatning av en part. De fleste av disse urettferdige tilfellene vil aldri oppdages, fordi vi mennesker er gode på å finne forklaringer vi kan slå oss til ro med. Det er derfor vanskelig å si hvor stor andel av beslutninger som tas som innebærer urettferdig behandling av personopplysninger. At vi som regel ikke har et tall å gå ut ifra gjør øvelsen med å tallfeste urettferdighet utfordrende.

Ved bruk av KI har man mulighet til å nøyaktig tallfeste når man går fra akseptabel til uakseptabel forskjellsbehandling. Grunnen er at en algoritme ikke kan bortforklare urettferdige beslutninger, i motsetning til mennesker. Når man trener en algoritme må man teste hvor treffsikkert den utfører oppgaven sin. Spørsmålet blir da når algoritmen er treffsikker nok. Dette reiser spørsmål om det er tilstrekkelig med 70 prosent riktige utfall eller 95 prosent riktige utfall for å tilfredsstille prinsippet om rettferdighet. Et annet eksempel er tilfeller der nåværende menneskelig ekspertise er 70 prosent nøyaktig for hele befolkningen, mens en KI har 95 prosent korrekte utfall for majoriteten av befolkningen, men 65 prosent korrekte utfall for en minoritet. Må minoriteten da tåle lavere andel korrekte utfall for at gjennomsnittet av korrekte utfall skal bli bedre? Tallfesting av rettferdighet er både en vanskelig og tidvis vond øvelse. Det reiser flere uutforskede etiske problemstillinger, og tallfestingen av akseptabel forskjellsbehandling utgjør en risiko for behandlingsansvarlige som ønsker å bruke KI.

Når grensen for hvor stort avvik fra 100 prosent treffsikkerhet man kan akseptere er satt, må KIen kontrolleres mot denne grensen kontinuerlig. Dette er eksempelvis fordi sammensetningen i gruppen av mennesker KIen brukes på kan endre seg, eller algoritmen kan bli skjev over tid dersom den lærer av og systematiserer skjevheter gradvis. Å beholde en rettferdig KI er derfor et kontinuerlig arbeid, og vil kreve oppdatering og etterlæring av KIen.

2.4 Algortimeskjevhet og manglende kompetanse

Menneskelig innblanding blir ofte foreslått som et tiltak for blant annet å senke risikoen for algoritmeskjevhet og dermed sikre overholdelse av rettferdighetsprinsippet.^{(19)EDPB, Guidelines 4/2019 on Article 25 Data Protection by Design and by Default, adopted November 13th 2019, avsn. 72.} Det er imidlertid en risiko for at dette tiltaket gir en falsk trygghet. Grunnen er menneskelig psykologi. Daniel Kahneman skriver i boken Thinking Fast and Slow om ankringseffekten som påvirker i menneskelig beslutningstaking. Som Kahnemans studier viser, lar nemlig mennesker selv irrelevante faktorer påvirke deres dømmekraft, en effekt som kalles ankring.^{(20)Daniel Kahneman, Thinking Fast and Slow, Penguin Books, 2011, s. 119-128.}

I ett av eksperimentene Kahneman bruker som eksempel for å forklare ankringseffekten, fikk en gruppe tyske dommere presentert et faktum der en person hadde nasket i en butikk. Dommerne ble så bedt om å ta stilling til hvor mange måneder fengsel vedkommende skulle få.^{(21)Kahneman (2011), s. 125-126.} Før de tok beslutningen ble dommere bedt om å trille en terning. De ble fortalt at terningen kunne lande på et hvilket som helst tall. Terningen var imidlertid forhåndsinnstilt til å lande på enten tre eller ni. Dommerne som trillet tre på terningen ga i gjennomsnitt fem måneder fengsel. Dommerne som trillet ni ga i gjennomsnitt åtte måneder. Konklusjonen på studien var at dommerne ble påvirket av det tilfeldige tallet terningen viste når de skulle dømme.^{(22)Kahneman (2011), s. 126.}

Til slutt er det verdt å merke seg at risikoen for diskriminering har ikke bare betydning for behandlingsansvarlige som selv bestiller eller utvikler KI. Også ved kjøp av KI-programmer for behandling av personopplysninger må behandlingsansvarlige sikre at programvaren overholder rettferdighetsprinsippet.

Eksperimentet viser at vi mennesker lar selv irrelevante faktorer påvirke hvordan vi tar beslutninger. Når vi introduserer beslutningsstøtteverktøy for eksempel til saksbehandlere som er utsatt for enorme saksmengder og lite tid til kritisk tenking, er det nærliggende å anta at vi vil se den samme effekten. I motsetningen til terningen i eksperimentet er risikoscoren relevant for saken. Vi kan derfor forvente at risikoscoren tillegges enda større vekt enn terningen. Det er derfor høyst usikkert hvor meningsfull den menneskelige innblandingen faktisk er.

Det er noen ting en behandlingsansvarlig kan gjøre for å sikre at menneskelig innblanding faktisk fungerer som et risikoreduserende tiltak. Det aller viktigste er å sikre god opplæring av de som skal anvende beslutningsstøtteverktøyet. Dette innebærer god informasjon om hva KIen egner seg til å si noe om og ikke, hvilke feil den kan gjøre, hvor nøyaktig den er og ikke minst bevissthet rundt menneskelige svakheter ved beslutningstaking ved hjelp av beslutningsstøtteverktøyet. I tillegg må behandlingsansvarlig sikre nok ressurser til at de som bruker verktøyet faktisk kan anvende sunn skepsis og kritisk tenkning.